Projecting BrowseComp-Plus onto ClimbMix: Toward More Realistic Corpora for Agentic Search
将 BrowseComp-Plus 投影到 ClimbMix：构建更真实的智能搜索评估语料
🧭 Agentic search 评估 · 语料投影
University of Waterloo
提出数据集无关的投影流水线，把 BrowseComp-Plus 问题证据迁移到 553M 文档的 ClimbMix，得到 57 个高置信评估样本
📌 工作参考价值（4 点）
- 构建离线评估集时，如果现有语料规模小且由 benchmark 自身支持文档和 hard negatives 组成，可以用投影 pipeline 把问题映射到大规模通用语料，再用自动验证+独立 agent+人工复核筛出证据完整的样本，避免评测泄漏和检索难度失真。
- 原子 reasoning hop 分解 + 逐 hop 证据定位的流程可以直接迁移到 RAG 或搜索 Agent 的训练/评测数据清洗，确保每个推理步骤都有对应文档支撑，减少幻觉式回答。
- 检索质量是 agentic search 的瓶颈：即使最终答案准确率只降 5 个点，evidence recall 从 84.3% 跌到 21.4% 说明检索侧严重不足。业务中应把 evidence recall 作为独立监控指标，与下游任务指标解耦。
- 发布的 projection pipeline 和 benchmark 可作为固定语料评估的模板，适合需要分离 Agent 推理能力与检索器能力的场景，例如电商搜索、推荐理由生成、客服 Agent 评测。